Jag har sedan ett tag tillbaka flyttat en stor del av min användning av generativ AI från de stora, välkända och integrerade tjänsterna till verktyg som istället låter mig använda språkmodellerna via de stora AI-labbens API:er. Alternativen är inte alltid lika slipade, men har andra viktiga fördelar. Flexibilitet, kontroll över när mina arbetsmetoder ändras, och möjligheten att använda lokala modeller är de tre främsta.
Sedan OpenAIs lanseringsevent har GPT-5 varit ämnet som dominerat mina teknikfokuserade nyhetsflöden. Till en början med fokus på modellen i sig, men allt mer om hur den har integrerats i tjänsten ChatGPT. Har sett många (som jag tror är) storanvändare av ChatGPT som uttryckt frustration. Det handlar bland annat om att OpenAI tagit bort (men nu också återinfört?) möjligheten att välja vilken av företagets modeller som ska användas i en chattkonversation.
För de flesta hänger modell och tjänst ihop... #
För de flesta slutanvändare av generativ AI finns idag ingen tydlig gräns mellan modell och tjänst. Man loggar in på ChatGPT, eller Gemini, eller Claude och så är det inte mer med det.
Men med valet av tjänst följer både valet av underliggande modell, den som “gör jobbet” och – så klart – vilka funktioner som finns inbyggda i tjänsten för att göra det lättare att använda modellen.
Så när OpenAI lägger till GPT-5 bakom kulisserna och dessutom ändrar hur tjänsten ChatGPT fungerar finns det inte mycket man som användare kan göra mer än att gilla läget. Och gillar man inte läget får man hålla tummarna för att man antingen vänjer sig, att det kommer fler förändringar som får saker och ting att kännas/fungera som förr eller bättre, eller flytta sin genAI-användning till någon av de konkurrerande tjänsterna.
...men det går att bryta isär det beroendet #
Men de stora AI-labben erbjuder inte bara “nyckelfärdiga” tjänster för slutanvändare. De säljer också API-access till sina modeller. Ett API, application programming interface, är ett sätt för olika program och webbtjänster att “prata” med varandra. Via ett API kan en utvecklare bygga in AI-funktioner i sin mobilapp utan att själv behöva träna upp en generativ AI-modell.
Det finns åtminstone en handfull tjänster och program som utnyttjar de här API-möjligheterna för att bygga chattlösningar där användaren fritt kan välja modell genom att skaffa utvecklarkonton och API-access: LM Studio och AnythingLLM tror jag var de två första jag stötte på. Den jag använt mest är Msty. Och den som jag nu kör sedan ett par månader tillbaka är OpenWebUI. (De första tre är program som enkelt installeras i datorn, medan OpenWebUI är tänkt att användas som en serverlösning. Lite krångligare att komma igång med, därmed. Å andra sidan möjlig att komma åt från vilken dator eller mobiltelefon som helst, vilket är den främsta anledningen till att jag landat där.)
Krångligare att komma igång – men med ett par tydliga fördelar #
Att använda de stora generativa AI-modellerna via någon av de här fyra lösningarna är definitivt krångligare än att bara skapa ett konto på ChatGPT eller någon av konkurrenterna. Men för mig är det värt insatsen.
Den absolut största fördelen är att jag bygger både arbetsflöden och chatthistorik som blir oberoende av vilken modell jag för tillfället föredrar att jobba med. Jag kontrollerar systemprompter, temperaturer för modeller och så vidare och kan lätt flytta min användning mellan olika modeller allt eftersom de utvecklas.
I OpenWebUI finns en drop-down-meny där jag väljer bland de modeller som jag aktiverat. Och inte bara när en chattråd startar, utan för varje interaktion på vägen, oavsett vilken modell som använts hittills i tråden. Det här är extra värdefullt för några av de långa trådar där jag över tid har haft hjälp av språkmodeller att “tänka högt”. Att enkelt kunna skapa grenar, testa nya modeller och på andra sätt utnyttja att det är jag som väljer vem som ska vara min “tankepartner” är riktigt bra.
Det här innebär också att det är enkelt att jämföra olika modeller med varandra, i några av programmen går det till och med att skicka samma prompt till fler än en modell åt gången för att kunna se resultaten sida vid sida. Har man inte hittat sin favorittjänst finns dessutom en tydlig kostnadsaspekt (som kanske till och med visar sig om man bara vill använda en) som följer av att API-användning betalas per token (del av ord som skickas mellan användare och modell) och inte en fast månadskostnad. Prislappen per token varierar per modell och är man storanvändare av de mest avancerade modellerna är det inte omöjligt att fast kostnad blir billigare än per token, men för många kommer per token-kostnaden bli längre.
Och apropå kostnad – och dataskydd och integritet: Alla de här fristående chattgränssnitten kan dessutom använda lokala modeller, för användningsfall där man av någon anledningen inte kan, vill, eller får skicka data till en tjänst på nätet.
Men program kan ju också ändras? #
Ett motargument till hela min tes om fördelarna med att bygga sina arbetsflöden i ett verktyg som utnyttjar API:erna istället för en integrerad tjänst är så klart att även Msty eller OpenWebUI kan göra förändringar som jag inte gillar. Men en viktig skillnad är att jag själv bestämmer om jag i så fall ska installera en ny version eller tills vidare fortsätta med den jag har och som fungerar.
För mig handlar det här om att ha så mycket kontroll som möjligt över de arbetsprocesser som är särskilt viktiga. För mycket av det jag använder en språkmodell till, som att få hjälp med engelsk grammatik, spelar de här resonemangen ingen roll. Det är ett stöd jag behöver vid ett enskilt tillfälle.
Men där språkmodellerna hjälper mig över tid, som bollplank och tankepartner kring ämnen och frågor som jag ständigt kommer tillbaka till, spelar den egna kontrollen en större roll. Jag har byggt upp bibliotek med referensdokument, prompter och så vidare. Det är arbetsflöden som är jobbigare att flytta runt.